Sau khi nhà Đường khôi phục hai kinh rồi, Lý Bí lại xin từ chức trở về núi tu hành. Vua Túc Tông ngạc nhiên hỏi tại sao. Lý Bí cho rằng nếu ở lại thì sẽ phải bị tiểu nhân hãm hại đến chết (trong lời nói của ông ám chỉ đến Trương thục phi, lúc này đã là Hoàng hậu, và Lý Phụ Quốc, hoặc tể tướng Thôi Viên)[4]). Ông cho rằng kẻ gian sẽ ghét mình vì năm việc: Gặp nhà vua quá sớm, Nhà vua rất tin tươngmình, Nhà vua đối xử mình quá tốt, Bản thân có nhiều công lao, và tính tình lập dị của bản thân. Ban đầu Túc Tông cho rằng sở dĩ Lý Bí rời đi chẳng qua vì vua không chịu nghe lời đánh Phạm Dương trứoc, nhưng sau này Lý Bí đã cải chính rằng nguyên do đằng sau là bởi cái chết của Kiến Ninh vương Lý Đàm. Nhà vua cho rằng vì Lý Đàm muốn giết anh nên không thể không bị trừng trị. Lý Bí đáp rằng

Kiến Ninh vương nếu có lòng như thế, thì Quảng Bình vương đã vô cùng căm giận rồi. Nay mỗi lần nói chuyện với thần, Quảng Bình vương đều nhận là oan uổng, thường sa nước mắt. Huống chi bệ hạ lúc ấy còn muốn dùng Kiến Ninh vương làm nguyên soái, thần xin dùng Quảng Bình vương. Nếu như Kiến Ninh vương có ý giết anh, thì phải rất ghét thần mới đúng, nhưng ngay hôm đó, lại khen thần tận trung, ngày càng thân thiết. Cứ như thế cũng đủ thấy tấm lòng Kiến Ninh vương ra sao.

Lại kể cho nhà vua một câu chuyện khác rằng[16]

Bệ hạ có nghe Hoàng đài qua chưa? Cao Tông Thiên Hoàng bệ hạ có tám người con trai, Thiên Hậu sinh được bốn vị, Duệ Tông tổ phụ bệ hạ là nhỏ tuổi nhất. Con trưởng là Hoằng được phong Thái tử, là người anh minh nhân hiếu. Thiên Hậu có ý lâm triều xưng Chế, giết Hoằng đi, lập con thứ là Hiền. Hiền do việc đó mà ưu sầu, mỗi lần lên triều không dám nói gì, sau đó thì sáng tác nhạc chương mong cảm ngộ Thượng và Hậu. Lời nhạc có hai câu là: Lần đầu hái một quả dưa/Lần sau quả nữa, dễ chưa vừa lòng? Nhưng về sau Hiền cũng bị Hậu bài xích rồi chết ở Kiềm Trung. Nay Bệ hạ đã hái một quả rồi, xin đừng hái thêm nữa

Đó là bởi vì khi đó Trương hoàng hậu luôn coi Lý Thục là cái gai trong mắt, hai bên không ngừng minh tranh ám đấu. Lý Bí cố tình nói như vậy để nhắc nhở Túc Tông không phạm thêm sai lầm nữa. Sau này do Lý Bí cương quyết muốn từ chức, Túc Tông bất đắc dĩ phải chịu trả quần áo người tu hành, cho ông về ẩn cư ở Hành Sơn, hưởng quy chế bổng lộc như quan tam phẩm.[15] Trong thời gian này, ông có thói quen ngồi sau cây tùng để tỏ vẻ là người tu hành, và trong một lần, khi nhìn thấy một cây có hình dạng giống một con rồng, ông đã gửi nó cho làm quà dâng lên vua Túc Tông.[4]